深度学习与遥感数据分析

传统方法对激光雷达点云数据特征提取时，主要存在如下缺陷：①没有很好地考虑相邻点间的上下文信息；②部分描述单点与所属对象之间的关系特征需人为预先设置诸多模板，造成分类边界模糊；③缺乏对特征相互关联的挖掘，难以整合多维度、多尺度的特征信息。

深度学习的多层神经网络结构能更好地进行特征学习，但点云数据缺乏组织，无法像图像一样通过窗口移动获取尺寸相同且相邻关系明确的数据块作为训练数据。先栅格化点云再特征提取的深度学习方法会造成栅格化后三维信息的丢失，并且栅格大小也会影响分类精度。

受具有视觉生物体行为模式的启发，将感兴趣对象从场景中识别出来时，往往先粗看全场景并迅速找到目标的大致方位，再定睛细看将感兴趣目标与背景完全分离开来。文献[4]提出了一种深度强化学习模型，通过监督学习对目标进行定位、检索、探测与分类，是一个从原始点云数据映射到指定类别的端到端自动化处理框架。为了实现从粗看到细看这个视角变换的过程（即“where to look”），设置一个视窗（eye window，EW）扮演了关键的角色，它会改变自身的大小（对应眼睛聚焦的过程）以及位置（对应眼睛视角的变化）。三维卷积神经网络（3D convolution neural network，3DCNN）和循环神经网络（recurrent neural network，RNN）自动提取的特征使粗看和细看时都有赖以分类的描述，相当于模型眼睛的内部结构。为了赋予眼睛变换视角并对解译目标进行聚焦的能力，设计了一个强化学习网络，对眼睛进行目标的强化学习，使之在粗看后向解译目标移动并缩小范围，用新的焦距和视角再看，直到目标被包围在EW内。在解译每点的类别时，先通过3DCNN学习对象的特征，DQN（deep Q-learning network）在全场景中检索到所有符合该特征的EW。然后将EW中所有点送进残差RNN分类，提取出纯净的该类型所有点。

如图 2所示，上述模型主要分为Network 1和Network 2。在Network 1中，3DCNN自动高效提取多个尺度上的特征信息并编码，DQN通过3DCNN提取特征并进行匹配，匹配结果反馈给DQN以做出行动，这个过程不断反复直到找到目标。在Network 2中，RNN提取DQN搜索到的目标及其周围的空间特征并编码，同时对已有的3DCNN特征编码进行高阶、低阶特征融合提炼，获得最佳分类参数，得到解译结果。3DCNN和RNN自动提取的特征使“粗看”和“细看”时都有赖以分类的描述。该模型能自动融合和提炼高阶低阶特征，DQN精准切割目标，比传统目标搜索效率更高、更准确。DQN的奖励由3DCNN给出，实现了从感知、反馈到应对的认知流程智能化，模型参数基本都由学习得到，泛化能力强。

图  2  3DCNN-DQN-RNN的结构

Figure 2.  The Architecture of 3DCNN-DQN-RNN

上述方法在识别室外点云数据时存在较多不足。与室内场景相比，室外场景目标相差大，EW尺寸较大导致栅格化点云时易损失较小目标信息，EW过小则无法有效抓取大目标的上下文，且耗时较大。为了使点云特征编码完整保留地物信息以及保持较高的计算效率，通过虚拟相机在点云场景中拍照，将无序三维点云映射到二维图像上。为方便相机自动寻找最佳拍摄角度，在相机后面加一个强化学习网络，从多个角度获得图像并识别验证一个点的类别，把图像输入多层感知机进行监督训练，再把可能性最高的结果映射回点云场景中的点。这样的编码既保留了点云的空间结构，也是端到端识别方法，又满足了可大量获取训练数据、完整保留点云信息、计算量合理等大规模室外场景点云高效识别的目的。

多任务学习利用多种相关任务间的信息互补性、跨任务的资源和参数共享来提升系统的整体泛化能力[5]。Mask R-CNN[6]可实现遥感图像的分类、检测与分割任务，但进行遥感图像建筑分割时未能充分考虑全局的上下文信息。本文借鉴U-Net编码-解码结构的设计思想，在Mask R-CNN的特征提取网络（feature pyramid networks，FPN）[7]基础上，加入语义分割“解码器”子网络，输出原始影像的语义分割掩码。分类、目标探测、实例分割和语义分割这4个任务共享底层卷积（如图 3所示）。模型的总损失函数由4个任务损失函数的加权平均和构成。该网络由于多任务之间的信息互补，增强了特征的表达能力，进而提高了模型的整体泛化性能。此外，实例分割与语义分割的互补使得分割结果相对于单独使用其中一种更加平滑。

图  3  建筑识别的多任务学习模型

Figure 3.  Multi-task Learning Model for City Building Recognition

整体流程如下。首先由改进的ResNet-50-FPN网络提取特征，得到P2~P6的5组特征图，经过FPN得到一批感兴趣区域（region of interest，ROI）；全部ROI经过非极大值抑制方法过滤后，在特征图N2~N5上进行ROI对齐操作得到一批ROI的特征图；把得到的ROI特征图送入类别预测网络、边界框回归网络和实例分割网络进行分类、回归和掩码预测操作，得到各任务的计算结果；由P2上采样得到全局的语义分割掩码。

利用SpaceNet中AOI3（巴黎）和AOI5（喀土穆）的卫星影像数据（http://explore.digitalglobe.com/spacenet），训练完毕后分别选取SpaceNet中AOI3、AOI5测试集进行模型评估（表 1）。表 1中，DAOI3和DAOI5、SAOI3和SAOI5、IAOI3和IAOI5分别表示在AOI3与AOI5上的目标检测、语义分割和实例分割结果AP值。多任务学习可使识别精度提升2%以上，该方法一定程度上提高了模型泛化能力。

表 1  SpaceNet测试集模型评估结果

Table 1.  Evaluation Results of SpaceNet

为充分利用高光谱图像中光谱和空间相关性、形状和上下文信息以及波段间可变性等，本文提出了一种高光谱图像特征学习网络模型（HIFNet）实现高光谱图像分类。如图 4所示，模型能有效去除原始光谱信息中的噪声，学习亚像素级的特征，同时利用高光谱图像中像素间的关系来学习像素级的特征，从而自动提取空间、光谱、颜色、形状以及纹理信息等特征。为利用最大似然来提高自监督特征学习的性能，将条件随机场框架（conditional random field，CRF）嵌入HIFNet。条件随机场中的一元项、二元项和高阶项分别由HIFNet学习到的亚像素级、像素级和超像素级的特征构建。同时这3项的反馈信息也会融合到不同级别特征的学习过程中，使HIFNet-CRF成为一个可训练的端对端深度学习网络模型[8-9]。

图  4  HIFNet-CRF的流程图

Figure 4.  Workflow of HIFNet-CRF

在高光谱影像数据集Indian Pines上随机选择200个样本作为训练样本，由于某些类的像素数量不足，选择了10个类别进行训练和测试，剩余数据用于测试提出的网络模型。与多层全连接（fully connect，FC）神经网络（multi-layer dynamic neural networks，MDNN）、包含两层卷积层和两层全连接层的CNN（spatial CNN，SCNN）[10]、具有9个卷积层的上下文深度神经网络（cross-domain CNN，CDCNN）[11]和深度置信网络（diversify-deep brief networks，D-DBN）[12]进行了比较，结果见表 2。HIFNet-CRF在高光谱图像数据集上获得的分类准确度要高于其他。这表明HIFNet-CRF可以有效利用高光谱图像的空间-光谱信息。

表 2  不同方法下Indian Pines数据集的分类结果/%

Table 2.  Classifiation Results of Indian Pines with Different Methods/%